Modular Cognitive Architecture Emerges in Large Language Models
模块化认知架构在大语言模型中涌现
🧭 LLM 模块化架构与功能特化
Massachusetts Institute of Technology
通过46个认知任务的电路分析，发现LLM形成与人类大脑相似的模块化架构，同域任务共享神经元
📌 工作参考价值（4 点）
- 电商推荐多任务模型可借鉴模块化思想：将语言理解、数值推理、用户意图/社会偏好等不同认知域任务分组，设计稀疏激活或MoE结构，让不同专家模块处理不同域，提高参数效率和效果；LLM内部已有功能分工，显式模块化可降低任务间干扰。
- Agent系统设计：针对商品属性逻辑推理、用户评论情感分析、价格比较等不同性质子任务，可以设计专门的子Agent或推理链，因为LLM内部已存在对应模块化表征，显式引导能更好地调用相关能力。
- 模型诊断与调试：在实际业务中遇到bad case时，可采用电路分析定位是哪个功能模块失效（例如语言理解模块还是数值推理模块），从而针对性地添加训练数据或调整prompt，而不是全参数微调或笼统调参。
- 多任务学习中的任务分组：通过计算神经元激活重叠度来判断任务间关系，指导哪些任务可以共享底层参数、哪些需要独立分支，减少负迁移，提高整体效果。